VALIDI TAS 


Beberapa Konsep 
Terkait Validitas 


Pembuktian 


* Proses validasi melibatkan pengumpulan bukti yang relevan untuk 
memberikan dasar ilmiah yang kuat untuk interpretasi skor yang diusulkan. 


« Interpretasi dari skor tes untuk penggunaan yang ditetapkan, yang akan 
dievaluasi atau divalidasi, bukan tes itu sendiri. 


* Ketika skor tes diinterpretasikan dengan lebih dari satu cara, setiap 
Interpretasi yang dimaksudkan harus divalidasi. 
= Tes A > Kemampuan A > Buktinya apa? 
* Tes A > Kemampuan B > Buktinya apa 


It is incorrect to use the unqualified 


phrase "the validity of the test." 





Validasi 


" Validasi dapat dilihat sebagai proses membangun dan mengevaluasi 
argumen untuk mendukung kekuatan interpretasi terhadap skor tes 
yang terkait dengan relevansinya terhadap tujuan dan fungsi yang 
ditetapkan pada alat ukur 


Validasi adalah proses mengevaluasi dan 
membangun argumen untuk pembuktian 


Penentuan Tujuan Alat Ukur #1 


- Alat ukur ini dipakai untuk mengukur Lingkungan Belajar 


Lingkungan belajar adalah tempat atau ruang lingkup (setting) 
ketika terjadinya proses belajar yang melibatkan aspek fisik dan 
non fisik 


" Alat ukur ini akan menghasilkan satu buah skor komposit. 
Semakin tinggi skor yang didapatkan dari alat ukur ini 
menunjukkan bahwa lingkungan belajar yang diukur semakin 
mendukung kegiatan belajar yang optimal 


Penentuan Tujuan Alat Ukur #2 


- Alat ukur ini dipakai untuk mengukur Lingkungan Belajar 


Lingkungan belajar adalah tempat atau ruang lingkup (setting) 
ketika terjadinya proses belajar yang melibatkan aspek fisik dan 
non fisik 


- Alat ukur ini akan menghasilkan satu buah skor yang 
menunjukkan tipe lingkungan belajar yang paling dominan pada 
unit yang diukur dari empat tipe yang ada yaitu learner- 
centered, knowledge-centered, assessment-centered, and 
community-centered. 


Reliabilitas vs 
Validitas 








Pengertian Reliabilitas 


Reliabilitas menunjukkan konsistensi (keajegan) 
hasil pengukuran (skor) yang dilakukan 


Pengukuran # 1 Pengukuran # 2 








Artinya skor yang dihasilkan pengukuran-pengukuran yang dilakukan relatif konsisten. Gambar di atas menunjukkan bahwa skor yang dihasilkan 
melalui pengukuran # 1 dan pengukuran # 2 adalah sama atau reliabel 


Simbol Reliabilitas 


s on parallel tests- 


d score withX’. 
jation between observe a linear relationship 
1. px the corr iance inX explained uj 
: : f vari 
2 pxx , = the proportion ° 
3. pxx' — PE o i. j 
A. pxx' 7 P ai 
5. par = 17 PRE 
6. pxx' 7 mE ouo 


X - diri sendiri 
X - diri sendiri dalam bentuk/waktu lain 









I AM IN LOVE 
WITH MYSELF, 
WITH MY HEART 





Skor yang Skor di waktu 
dihasilkan lain 
Skor dalam 
bentuk lain 
Skor bagian- 
bagiannya 


After 


Jenis-jenis Reliabilitas 


| 














ta Li Li 
IIS à 


WWW 





Validitas 


- Validity refers to the degree to which evidence and theory support the 
interpretation of test scores for proposed uses of tests 


Interpretasi Skor 


Bukti Bukti Bukti Bukti 





Simbol Koefisien Validitas 


I xy 


diri sendiri 
sesuatu yang lain 


x ILS y 


Semakin besar keterkaitan antara keduanya 
menunjukkan semakin konsisten, semakin tinggi 
validitasnya 


dihasilkan Skor tes lain 


Skor yang Penilaian orang lain 


Teori 


Perbedaan Kelompok 


BUKTI VALIDITAS BERDASAR KONTEN 

Validitas konten ditunjukkan oleh hasil penilaian 

ahli/praktisi terhadap spesifikasi, domain ukur, blue 
y print, butir-butir alat ukur 
















Spesifikasi Tes dan 
domain ukur sudah 
sesuai dengan teori, 
Kisi- kisi sudah sesuai 
dengan Domain 
Ukur, butir- butir 
yang ditulis sudah 
sesuai dengan kisi- 
kisi 





Skor Tes Lain 


Teori 


Perubahan 


Perbedaan Kelompok 


Penilaian orang lain 


Teori 


Perbedaan Kelompok 


BUKTI VALIDITAS BERDASAR KORELASI SKOR TES 


DENGAN SKOR TES LAIN 

Bukti tes ini ditunjukkan oleh korelasi skor tes yang dikembangkan 
dengan tes lain, baik yang diukur secara bersamaan dengan tes 
yang dikembangkan (konkuren) maupun yang diukur setelah waktu 
tertentu (prediktif) 


Skor Tes Yang 
Sedang 
dikembangkan 


Skor Tes Yang 
Sudah Standar 
(Baku) 





BUKTI VALIDITAS BERDASAR KORELAS SKOR TES 

DENGAN SKOR TES LAIN 

Bukti tes ini ditunjukkan oleh korelasi skor tes yang dikembangkan 
y dengan tes lain, baik yang diukur secara bersamaan dengan tes 

yang dikembangkan (konkuren) maupun yang diukur setelah waktu 

tertentu (prediktif) 


Penilaian Orang Lain 


Sedang menunjukkan 


dikembangkan performansi 


Skor Tes Yang Skor Tes Lain yang 





BUKTI VALIDITAS BERDASAR STRUKTUR TES 
Bukti tes ini ditunjukkan melalui analisis faktor yang menghasilkan 


Informasi mengenai struktur tes. | ika struktur tersebut sesuai 
dengan teori yang dipakai, maka tes yang dikembangkan memiliki 
bukti validitas berdasarkan struktur tes 
Penilaian Orang Lain = 
Skor Tes Lain 









F 


(strat 


T 





| Perubahan | 
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BUKTI VALIDITAS BERDASAR STRUKTUR TES 

Bukti tes ini ditunjukkan perubahan skor yang mengikuti teori. 
Sebagai contoh tes yang mengukur kematangan emosi jika diberikan 
kepada orang yang dewasa skornya akan lebih tinggi dibanding 
dengan skor pada anak-anak 


Penilaian Orang Lain 


Skor Tes Lain 
Teori 





Perbedaan Kelompok 





Daya Beda Butir 


| Nama | Butir1 | Butir2 | Butirs | Butir4 | Butir5 | Butir 1 | TOTAL | 
AA 


BB 
CC 






I 


Korelasi Butir Total 
termasuk bagian dari 


r : reliabilitas atau r 


XX validitas? Xy 


Tipe-tipe Validitas Berdasarkan Sumbernya 


"Evidence Based on Test Content 

"Evidence Based on Response Processes 
"Evidence Based on Internal Structure 

"Evidence Based on Relations to Other Variables 
* Evidence for Validity and Consequences of Testing 


Pembuktian Berdasarkan 
isi dan Struktur Tes 





Content Validation Process 


Crocker and Algina (1986) 


1. Defining the performance domain of interest 
2. Selecting a panel of qualified experts in the content domain 


3. Providing a structured framework for the process of matching 
items to the performance domain 


4, Collecting and summarizing the data from the matching 
process. 


Spesifikasi Alat Ukur 
Spesifikasi Skala Lingkungan Belajar 


= Tujuan 

= Sasaran (Populasi) 

= Landasan Teori/Conceptual Framework 
= [imensi/Aspek/Indikatar 

- Format Butir 

= Skor, Penyekaran dan Intepretasi 








Blue Print / Kisi-Kisi 
Kisi-kisi Skala Lingkungan Belajar 


Aspek 
Keberagaman 


(Diversity) 


Partisipasi 
(Participation) 


Berbagi 
(Sharing) 





Pokok- pokok Indikator Keperilakuan 


Apresiasi terhadap keunikan 
Penghormatan terhadap kebutuhan khusus 


Penghargaan terhadap ida dan gagasan 
Adanya dukungan dari anggota 


Adanya kolaborasi dan kooperasi 
Membantu anggota lain yang kesulitan 


30 


40 


30 


Penjabaran Konstruk 


Definisi Konseptual 






Depresi 


ZEE 


Problem Definisi 


Kemurungan Ketidakmampuan 
9 P Interpersonal Keperilakuan 


Indikator 1 Indikator 1 Indikator 1 


Definisi Operasional 


Indikator 2 Indikator 2 Indikator 1 





Butir-butir di dalam Alat Ukur 
Contoh Butir 





Aspek — Bir 

Afek positif Saya adalah siswa yang tekun belajar 
Saya merasa mampu mengikut i pelajaran dengan baik 
Saya merasa nyaman menjadi diri sendiri 


Kepuasan 
Hdup 


Saya merasa senang berada di sekolah 


Saya memiliki keluarga yang menyenangkan 

Orangtua mengajak saya berdiskusi 

Orangtua memperhatikan kebut uhan-kebut uhan saya 
Saya mudah menemukan teman di sekolah yang bisa saya 
ajak berdiskusi ketika akan mengambil keput usan 


Alat Ukur yang disajikan 
Contoh Tampilan Alat Ukur 


SURVH GURU 


IDENTITAS 

Nama (Boleh Inisial) 

Usia 2 

Jenis Kelamin : O Laki-laki C Perempuan 
Asal Sekolah : 

Kabupaten/Propinsi : 

Pengalaman Mengajar : tahun 
Bidang Studi 

Pendidikan 

Pangkat/Jabatan 


Bapak/ibu kami mohon untuk berpartisipasi dalam survei guru untuk keperluan kami. DI dalam hal 
ini tidak ada jawaban yang baik atau buruk. Jawaban yang benar adalah jawaban yang sesuai 
dengan keadaan Bapak/Ibu. Setiap jawaban bapak/ibu akan dijamin kerahasiaannya. Kami 
mengharap bapak/ibu memberikan tanggapan yang sesuai dengan apa yang bapak/ibu rasakan. 
Terima kasih atas partisipasinya. 





KODE EFI. Berikan tanda silang [X] pada kolom yang disediakan 





A. Perencanaan Mengajar | | 
1 | Menaiiasai kurikulum serara kamnrehensif [ 1 EI - f 1 [1 | [ 1 


3apak/ibu kami mohon untuk berpartisipasi dalam survei guru untuk ke 
ni tidak ada jawaban yang baik atau buruk. Jawaban yang benar adalah jawaban yang sesuai 


dengan keadaan Bapak/Ibu. Setiap jawaban bapak/ibu akan dijamin kerahasiaannya. Kami 
engharap bapak/ibu memberikan tanggapan yang sesuai dengan apa yang bapak/ibu rasakan. 
erima kasih atas partisipasinya. 





KODE EFI. Berikan tanda silang [X] pada kolom yang disediakan 










Sangat " i 

Tidak . Sangat 
Tidak Te Netral Yakin Yakin 
Yakin 







9 “ Mampu menyusun perencanaan proses mengajar dengan 
^ efektif 
3. Mampu menyusun silabus yang sistematis 
B. Pelaksanaan Mengajar 


Mampu Menggunakan strategi dan metode belajar yang 
inovatif 





Semua aspek di dalam konten tes harus 
mendukung bahwa SKOR TES YANG 
DIHASILKAN SESUAI DENGAN TUJUAN 
UKUR 


Siapakah yang menelaah bagian- 
bagian tersebut? 


Meminta Pendapat 
(professional judgment) 
Validator 










Contoh Peran Validator 


- Seorang ahli diminta untuk menilai apakah 
domain- domain ukur yang ditetapkan oleh 
peneliti relevan dengan apa yang hendak 
diukur 


= Pemilihan sampel perilaku dari sekian 
banyak perilaku yang mendukung 
keberhasilan bekerja dapat dikonsultasikan 
kepada manajer senior 





BUKTI VALIDITAS BERDASARKAN ISI TES 


Bagaimana Cara Pereviu tersebut 
menelaah tes kita? 


Dua Pendekatan Proses Reviu 


* Ahli mereviu aspek-aspek yang dinilai kemudian memberikan 
rangkuman pendapat (summary) mengenai dokumen-dokumen 
yang direviu 


* Peneliti memberikan dokumen-dokumen yang perlu direviu. 
Reviu terhadap aspek-aspek tersebut dijabarkan dalam bentuk 






skor, misalnya dari kurang relevan (skor 1) hingga sangat 
relevan (skor 5). 





Contoh Aspek yang direviu 


Relevansi Keterbacaan 

= Relevansi blueprint dengan teori - Keterbacaan pernyataan 

= Relevansi butir dengan indikator ukur - Keterbacaan instruksi pengerjaan 
Ketepatan Kesesuaian 

- Ketepatan pemilihan aspek-aspek - Kesesuaian pernyataan dengan 

" Ketepatan pemilihan format tes budaya 


Jangkauan dan Keterwakilan 


ES pee sudah menjangkau domain 
ukur 


= Sampel perilaku menjangkau populasi 
Indikator 


Konstruk Ukur 


At ri b ut U ku r Suasana Kekeluargaan 


Pemanfaatan 


= Dinamakan atribut karena hal itu merupakan Teknologi 
properti yang melekat pada sebuah objek. 






= Atribut adalah objek pengukuran. 


- Kita tidak mengukur sebuah unit akan tetapi atribut 


sebuah unit 
= 


JA TRI 


Lingkungan belajar bukan sebuah atribut ukur 
melainkan unit ukur — 


Mo Dukungan terhadap 
Fasilitasi ABK 


Kegiatan Belajar 
pemilik gambar: https://edsource.org 


Atribut Ukur 





= Atribut adalah sebuah konsep 
= Atribut memiliki struktur 
= Atribut memiliki keterkaitan dengan atribut lain 


Atribut 


Atribut adalah karakteristik, fitur, atau 
properti yang melekat diri suatu unit (misalnya 
manusia) yang menyebabkan adanya 
perbedaan individual 





Atribut & 
Konstruk 





1. Measurement, Measuring Instruments, and Psychometric Theory ................... 
1.1 Constructs and Their Importance in the Behavioral and Social Sciences... 
12 OW to. Measured CONSO anu aan IRURE 


LS. Why Measure ConsiruUCIS ne ds aan ie 
14 Main Challenges When Measuring Constructs ss 
1.5 Psychometric Theory as a Scientific Dope aah 
1.6 Initial Steps in Instrument Construction memetakan 
1.7 Measuring Instrument Scores as Composites ...............oooo 





1 Construct Modeling: The“Four Building Blocks" 
Approach 
1.0 Chapter Overview and Key Concepts 3 
1.1 What is Measurement? 4 
1.2 The Construct Map 6 
1.3 The Items Design 10 
1.4 The Outcome Space 13 
1.5 The Measurement Model 15 


1.6 Using the Four Building Blocks to Develop 
an Instrument 18 


1.7 Resources 20 
1.8 Exercises and Activities 21 


Constructing 
Measures 


Andtem Response 
Modeling Approach 


CD ENcLosep 


Mark Wilson 





Representasi Atribut Ukur 


PENGUKURAN STATISTIKA 
“Konstruk Ukur Variabel 
"Kognitif * Dependen 


“Non Kognitif “Independen 


Konstruk Ukur bisa muncul dari teori (TOP DOWN) 
maupun data empirik (BOTTOM UP) 


Konstruk Konstruk 


Alat Ukur Alat Ukur 





Tipe- Tipe Konstruk 





M anifes 





A manifest variable is a variable or factor that can be 
directly measured or observed. It is the opposite of ...... 


A Latent variable, which is a factor that cannot be directly 
observed, and which needs a manifest variable assigned 
to it as an Indicator to test whether it is present. 


Penampakan Konstruk Ukur 


Manifest Laten 

-= Biasanya merupakan variabel = Biasanya merupakan variabel 
yang bersifat fisik yang bersifat non-fisik (konstruk- 

. Pengukurannya dapat langsung konstruk dalam ilmu sosial) 
dilakukan dengan menggunakan = Pengukuran tidak dapat dilakukan 
alat ukur tunggal secara langsung akan tetapi 


melalui beberapa indikator 
tampak (manifes) 


Implikasi Konstruk Laten 


Karena atribut ukur terkait dengan 
manusia itu kompleks sehingga tidak 
dapat langsung diketahui. Untuk 
mengetahui kadar dukungan lingkungan 
terhadap kegiatan belajar, kita tidak bisa 
langsung mengenali dari indikator 
tunggal, akan tetapi perlu mengenali dari 
banyak indikator. 


Physical 


Psychological 





Features 


Learning space; instructional media; physical 
comfortableness; resources availableness and 
technological support 


Elements of mental processing in the language learning, 
including: goal setting, learning activities organizing, 
learning strategies selecting and using, learner autonomy, 
etc. 


Affective elements influencing the effect of language 
learning — psychological support: interest, motivation, 
sense of safety, self-confidence and self-esteem etc. 


Konstruk Manifes dapat diukur secara 
langsung. 
(0g 





vt Oe 
Tr 100 n^ 4A 
S80 kah lS 
180%- 
200— 
2202 
Berat Suhu Kecepatan 


Beberapa atribut ukur terutama yang bersifat fisik dapat diukur secara langsung, misalnya berat suhu dan kecepatan 


Konstruk Laten Tidak SCOpa diukur secara 
lc 3 


Reading-Free s | 
VOCATIONAL INTEREST 
INVENTORY co1on 


a 


Prolessional Manual 


James P. Sampson, M. PAD 





USER MANUAL 





Vocational Interest Career Thoughts Adaptive Behavior 
80 items 48 items 193 items 


Atribut yang bersifat non fisik biasanya tidak dapat diukur secara langsung, pengukurannya harus melalui sejumlah indicator untuk 
mendapatkan informasi mengenai derajat atribut tersebut melekat pada individu 


ohr 


Latent Variable 


ehi ATENT AN Nana Latent Variable Moana 
VARIABLE VARIABLE and Factor Anahais ig Modeling with R Masse 
MODELS yes. S | 


Latent 
Variable 


Models 


€ Product Beas 





Latent Variable Models... Latent Variable Models... Amazon.com: Latent V... Latent Variable Modelin... Latent Variable Modeling ... An Introduction to Late... 


amazon.com amazon.com amazon.com amazon.com amazon.com springer.com - In stock 


Lingkungan Belajar 


Manifes vs. Laten 


Kepadatan vs. Kesesakan 
Fisik vs. Psikologis 








Berdasarkan Bent 


Kuantitatif 





Kualitatif 





Atribut ukur dalam psikologi ada yang bersifat kuantitatif dan kualitatif. 


Konstruk Ukur Berdasarkan Bentuk Data 


Kuantitatif Kualitatif 

= Konstruk ukur bersifat kontinyu yang = Konstruk ukur bersifat kategorikal yang 
menunjukkan derajat dari rendah ke menunjukkan kategori ekslusif untuk 
tinggi suatu unit 
= Misalnya stimulasi lingkungan terhadap = Misalnya Lingkungan Tipe Kooperatif, Tipe 

belajar mandiri (rendah-tinggi) Kolaboratif dan Tipe Kompetitif 

- Atribut ini tersebut melekat pada = Atribut melekat tidak pada setiap unit 
semua unit - Tidak semua lingkungan mewakili 
= Semua lingkungan memiliki kadar stimulasi karakteristik dengan tipe lingkungan 


terhadap kegiatan belajar mandiri 


Tipe 
Kooperatif 





Tipe 


“= 
= 
© 
Eus 
O 
-Q 
& 
O 
xX 


Tipe 
Kompetitif 


Pemilik gambar: freepick.com 


Atribut Kuantitatif 


Dukungan Sosial Anggota Lingkungan 





Atribut yang bersifat kuantitatif biasanya dapat dilihat dari apakah individu memiliki "banyak atau sedikit" suatu ciri yang mengikuti suatu 
skala berkelanjutan (kontinyu). 





Skor 


Bakat M ekanik 60 87 87 
Bakat Spatial 50 52 34 
Bakat Numerik 89 87 87 


atribut yang bersifat kuantitatif itu memiliki skor masing- masing atribut ukur sehingga dapat 
dibuat menjadi sebuah profil, contohnya adalah bakat 








Understanding the 4 Personality Types 


à Has The Director 


PE B- elie Socializer 


©” mec C - The Thinker 5 Is D - The Supporter 
Type X 
Combines two or more personality 
types when they are equal 


Atribut yang bersifat kualitatif biasanya berupa identifikasi keanggotaan suatu kelompok. Individu masuk ke dalam kelompok dengan 
karakteristik X ataukah kelompok dengan karakteristik Y yang bersifat terpisah dan tidak berkelanjutan (separated and discontinuous) 





THE TYPES OF LEARNERS 


visual kinesthetic auditory 


learner learne 


learn what they see leam what they do learn what they hear 





stress ease 


learner learner 





esses them leam what they write out 


copy 


(As 


leam what they can copy 


IL Funders and Founders 








Tipe 
Lingkungan Formal 5 uportif Bebas 
Belajar 


2. INVESTIGATIVE 


4. SOCIAL 


3. ARTISTIC 






1. REALISTIC 


5. ENTERPRISING 


Profil vs. Tipe 
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Interaktif Pasif 








Interaktif Pasif 








Stabil 


Temporer 





Konstruk Ukur Berdasarkan 
Kestabilannya 


Stabil Temporer 
= Konstruk bersifat menetap dan tidak = Konstruk bersifat temporer atau 
mudah untuk berubah. Terbentuk melalui situasional karena manifestasinya 
proses perkembangan dan interaksi bervariasi tergantung dari situasi dan 
antara berbagai macam faktor kondisi. Perilaku individu merupakan 
(lingkungan, genetik, pola asuh) tanggapan spontan terhadap situasi 
* Misalnya kestabilan emosi, ekstraversi, pola * Misalnya stres karena ada tekanan dari 
pikir pimpinan 
* Contoh Butir (Kuesioner) = Contoh Butir (Kuesioner) 
= Saya memiliki keinginan kuat untuk * Di sekolah, saya memiliki keinginan kuat 
berprestasi untuk berprestasi 
= Saya mudah merasa cemas meskipun saya * Saya merasa cemas ketika diminta ... 


tidak tahu penyebabnya 





—— by Occurs on 
a situation. a daily basis 





(OIMENSI 


Un 
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— 
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DIMENSIONALITAS 


Unidimensionalitas menunjukkan bahwa atribut yang diukur oleh suatu alat 
ukur adalah satu atau skor hanya menunjukkan satu atribut ukur 





Konstruk Ukur Berdasarkan Kestabilannya 


Unidimensi Multidimensi 
= Pengukuran yang dilakukan - Pengukuran yang dilakukan 
menekankan pada satu atribut ukur saja Merl E pada lebih dari satu atribut 
ukur saja 


-= Hubungan antara satu elemen (aspek) 
antara satu dengan lainnya tinggi yang 


Hubungan antara satu elemen (aspek) 


membentuk satu kesatuan atribut ukur antara satu dengan lainnya cenderung 
rendah yang membentuk beberapa 
= Contoh atribut ukur 
, cule! : Kelas saya menyenang san | . Contoh 
i UE” Ba Oa LOIRE CL Gillet = Butir 1 : Teman- teman saya di kelas sangat 


menyenangkan 


- Butir 2 : Saya merasa kesulitan untuk — 
mendengarkan instruksi guru selama di kelas 










Psychological 
Attribute 


Response to Response to Response to Response to Response to Response to 





Question 1 Question 2 Question 3 Question 4 Question 5 Question 6 


Figure 4.2 Unidimensional Test 









General 
Paychological 
Attribute 























Specific 
Psychological 
Attribute A 


Specific 
Psychological 
Attribute B 


Response tà Response Ic Response tà Response to Response to Responsa to 





Question 1 Question 2 Question 3 Question 4 Question 5 Question & 


Figure 4.3 Multidimensional Test With Correlated Dimensions (Le. à Higher-Order Factor Test) 


Dimensionalitas 


 Dimensionalitas menunjukkan hubungan antar atribut 
= Dimensionalitas bersumber dari teori atau hasil analisis 


= Konsekuensi 
= Penentuan model pengukuran 
= Jumlah skor dilaporkan 
= Agregasi skor 
= Properti psikometris (reliabilitas dsb) 


Contoh Konstruk Bersifat Hierarkhi 


Overall 


n E Spearman's g 
cognitive ability (general intelligence) 
(e.g. full scale IQ) 














































Fluid Crystallised Visual Short-term vai to nd Processing Auditory 
reasoning knowledge processing memory er speed processing 
(Gf) (Gc) (Gv) (Gsm) (cir) (Gs) (Ga) 


Narrow 


CHC abilities Over 70 narrow abilities (e.g., phonetic coding, associative memory, working memory) 





Agregasi Menjadi Skor Komposit 


Jika dimensi-dimensi yang diukur memiliki ARAH yang sama, meskipun memiliki korelasi yang rendah 
(multidimensi) semuanya dapat dijadikan satu menjadi skor komposit 


CONTINUOUS STUDENT 
FEEDBACK MOTIVATION 






PHYSICAL 


LEARNING 
ENVIRONMENT MAKAN 10 
DIGITAL 


soci ma 


EMOTIONAL 
ENGAGEMENT 





Lingkungan 
Kondusif untuk 
Belajar 


PENJAHAT TANG OM MUAL Nm Hia n | SH op tg Haa] RL 


Contoh Pengukuran 
Multidimensional 





Development and Pilot Testing of a Multidimensional 


Learning Environment Survey 


Mary Ann Jessee, PhD, RN; Regina G. Russell, PhD; Betsy B. Kennedy, PhD, RN, CNE; 
Mary S. Dietrich, PhD, MS; and Mavis N. Schorn, PhD, CNM, CNE, FACNM, FAAN, FNAP 


ABSTRACT 

Background: Multiple, complex factors comprise the learning environment and influence student learning outcomes, yet com 
prehensive evaluation of the learning environment in nursing schools is limited. 

Purpose: The Learning Environment Survey (LES) was developed to facilitate nursing students' report of perceptions of the com 
plex learning environment in nursing education. 

Methods: Systematic exploration of the literature, conceptual operationalization of the learning environment, and developmen 
of an item pool were completed. Content validity was established with expert assessment, student testing for clarity, and calculatior 
of scale-content validity index/average (S-CVI/Ave). Pilot testing was completed at 1 school of nursing with baccalaureate-equivalen 
prelicensure and advanced practice master's level students, and doctor of nursing practice students. 

Results: The CVI (S-CVI/Ave) was 0.92. Domain scores demonstrated Cronbach's a reliabilities of 0.67 or higher with most 
being > 0.85. 

Conclusion: The LES establishes a mechanism for eliciting comprehensive learning environment data for systematic assessmen 
and national comparison of multiple nursing learning environments. 

Keywords: educational measurement, instrument development, learning environment, nursing education, program evaluation 
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Abstract: The study of effective learning environments for entrepreneurial learning is an open subject in entrepreneurial 
studies. In the present article we adopt the theory of Knud Illeris for learning which introduces a 3-dimensional framework, 
i.e. the content, the incentives and the environment, to analyse the conditions under which entrepreneurial learning occurs. 
In accordance with Illeris’ theory, it is crucial that all of the three aforementioned dimensions be active for creating 
favourable conditions for learning. For most formal entrepreneurial courses that lean upon cognitive learning processes, the 
functionality dimension that pertains to the content dominates the rest two dimensions. Drawing upon an entrepreneurial 
course taught during an Autumn Academy for international students in a German university and an online group of informal 
learners through TeleCC.org in Greece, we address the learning environments by means of the Illeris” theory. A questionnaire 
was administered to the participants of the courses in order to examine how they experienced Illeris’ three dimensional 
framework. The results are discussed in order to reveal the perceived contribution of each dimension in the learning 
environment. For the specific courses, the three dimensions of Illeris’ theory were found to contribute equally the learning 
process. Hence, the illustrated cases can be considered as examples of integrated learning environments, either face to face 
or online, for entrepreneurship education. 


Keywords: entrepreneurship education, entrepreneurial pedagogy, learning environment, online teaching, Illeris” theory 


1. Introduction 


Entrepreneurship education has emerged as an expanding field of study for the last two decades (e.g., Katz 2003, 
Kuratko 2005). However, the relevant literature appears with low citation compared with other subjects of 
entrepreneurship (e.g., Kakouris and Georgiadis 2016). Amongst others (Katz 2008), there are also certain 
concerns about appropriate teaching models for entrepreneurship (e.g., Fayolle 2013). Beyond Business Schools, 
entrepreneurial courses are being offered interdisciplinary in higher education curricula, but recently, 


————Á——ÀL lanenim ie alan nl cami tn lank inta infu nan nr dim rnt imme althne bana ta fann ne 





Konstruk Ukur Berdasarkan 
Kestabilannya 


Broad 


= Konstruk yang bersifat broad memiliki 


Narrow 


= Konstruk yang bersifat narrow memiliki 


domain ukur yang luas yang mencakup 
indikator-indikator yang banyak 


= Konstruk yang bersifat broad biasanya 
memiliki aspek atau dimensi yang masih 
bersifat konseptual sehingga perlu 
dijabarkan lagi menjadi indikator- 
indikator keperilakuan 


= Contoh: 
= Dukungan sosial dari lingkungan 


= Stimulasi lingkungan dalam 
pengembangan diri 


domain ukur sempit yang mencakup 
indikator-indikator yang terbatas 


= Konstruk yang bersifat narrow biasanya 


memiliki aspek-aspek ukur yang tidak 
banyak atau bahkan tidak memiliki 
aspek sama sekali, langsung ke 
indikator 


= Contoh: 


= Keaktifan siswa di kelas 
* Persepsi terhadap lingkungan 





Potensial 





Potensi vs. Aktual 


= Menekankan pada indikator = Menekankan pada indikator 
pendukung keberhasilan tentang realisasi 
= Sekolah menyediakan media = Saya merasa potensi saya 
pembelajaran interaktif berkembang pesat ketika berada 
di kelas ini 


= Guru-guru memiliki kemampuan 
dalam berinteraksi dengan ABK = Guru-guru membantu kesulitan 
yang saya hadapi di kelas 


Indikator Formatif dan Reflektif 
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Indikator Formatif 3 


Principle Component Analysis 


| Loyalitas | 
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Indikator Reflektif 


Factor Analysis 


Berdasarkan Hubungan antar 


Komponen 











Ortogonal 





Apakah hubungan antara syaraf dan 


— Basic Neuron Types 





Konstruk = A+B 


Mengukur atribut 
psikologis secara koheren 


Aspek memiliki arah yang 
sama sehingga ketiganya 
dapat dijumlahkan 


— > B 
Unipolar 


A P, B 
Bipolar 


Bipolar 


Konstruk = A-B 





Mengukur atribut 
psikologis secara 
berlawanan 


Aspek mengukur hal yang 
berkebalikan, sehingga 
besarnya nilai satu aspek 
merupakan kecilnya aspek 
yang lain 


Konstruk = A+B (?) 


Mengukur atribut 
psikologis yang berbeda 


Aspek mengukur arah yang 
berbeda sehingga tidak 
dapat dijumlahkan 


Atribut bersifat kontinum (unipolar) 


= Atribut ini memiliki derajat yang berjenjang, misalnya 
kontinum dari rendah ke tinggi (misalnya, inteligensi, 
kecemasan, keuletan) 


Atribut bersifat kontinum (bipolar) 


= Atribut ini memiliki derajat yang berjenjang yang 
berlawanan, rendahnya satu merupakan tingginya yang 
lain dan sebaliknya (misalnya, introvert vs. extrovert) 


Unipolar 


Agreeableness 
Trust 

Tender mindedness 
Modesty 
Straightforwardness 
Kindness 


Compliance 


Bipolar 


Antagonism 
Suspiciousness 
Tough mindedness 
Arrogance 
Deceitfulness 
Exploitativeness 


Aggressiveness 





Atribut bersifat multikontinum (multipolar) 


= Atribut ini memiliki beberapa arah jenjang. 
Misalnya bakat (klerikal, spatial, numerikal, 
visual dsb) 


» Semua komponen di dalam atribut tersebut 
tidak dapat dijumlahkan 


» Semua komponen ditampilkan dalam 
bentuk profil 


3 
Tests 


mCorrect mincorrect m Skipped 





Elementer 


Hierarkhis 





MODEL SKALA THURSTONE 


Skala Thurstone memuat indikator (butir pernyataan) 
yang mengukur konstruk ukur pada sebuah kontinum 
secara equal-interval. 


Indikator 1 Indikator 3 Indikator 5 Indikator 7 
(1.2) (3.4) (5.90) (8.65) 
Indikator 4 Indikator 6 
(5.00) (8.26) 
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Indikator 2 
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Peningkatan Intensitas 











memfasilitasi menstimulasi 
menyenangkan mendukung ^ memotivasi 





Dukungan Lingkungan terhadap 
Proses Belajar 








e Indikator 
e Indikator 
e Indikator 
e Indikator 
e Indikator 
e Indikator 
e Indikator 
e Indikator 


SKALA LIKERT dikembangkan dengan cara mengambil sanpa indikator dari aspek- 
aspek konstruk ukur. Indikator ini kemudian djad kan menjadi sebuah butir 
pernyataan 


Indikator 
Indikator 
Indikator 


Indikator 





Leva 1 


Berbeda dengan SKALA TH. RSTONE yang memiliki butir dengan bobat yang berbeda, SKALA 
LIKERT berisi butir- butir yang cenderung memiliki bobot yang sama. Indikator- indikator pada 
SKALA LIKERT mengakomodasi aspek-aspek dari konstruk ukur 


Level 


Bervariasi m 





Level Tidak 


Bervariasi 





Skor berdasarkan 
bobot butir 


Skor Tidak Guttman 
berdasarkan | 
bobot butir Likert 








Siapakah yang 
terbaik? 
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Abstract 


For over three-quarters of a century researchers and practitioners have analyzed rating scale data using methods 
that assume a dominance response process wherein an individual high on the trait assessed is assumed to answer 


Developing and Scaling Personality 
Measures: Thurstone Was Right — But 
So Far, Likert Was Not Wrong 


FREDERICK L. OSWALD 
Rice University 


KRAIG L. SCHELL 
Angelo State University 


Although we are in agreement with Dras- worded at the extremes like this, both the 
gow, Chernyshenko, and Stark (2010) on dominance response model and the ideal 
the appropriateness of considering ideal point model vield essentially the same 


construct 


underrepresentation 


construct-irrelevant 
variance 





Construct underrepresentation 


Construct underrepresentation refers to the degree to which a test fails to capture 
important aspects of the construct. 


It implies a narrowed meaning of test scores because the test does not adequately 


sample some types of content, engage some psychological processes, or elicit some 
ways of responding that are encompassed by the intended construct. 


Standards for Educational and Psychological Testing (2014) 


Pengukuran Agresivitas 
1. "Saya akan memukul orang yang meremehkan saya" 
2. 





Construct underrepresentation 


Construct-irrelevance refers to the degree to which test scores are 
affected by processes that are extraneous to the tests intended purpose. 


The test scores may be systematically influenced to some extent by 
processes that are not part of the construct. 


Standards for Educational and Psychological Testing (2014) 


Personality and Individual Differences 
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The negative wording factor of Core Self-Evaluations Scale (CSES): Pe 
Methodological artifact, or substantive specific variance? 
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Article history: Among the instruments used to assess core-self evaluations, the Core Self-Evaluations Scale (CSES; Judge, Erez, 
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associated with the negatively worded items of the CSES. Ignoring this systematic variance produced biased va- 
lidity and reliability estimates. Our objective was to replicate the findings of Gu et al. in two independent Chilean 
samples, and further investigate the magnitude of the wording factor and its relationship with external criteria. 


Keywords: The wording factor explained one third of the common variance, acguired sufficient model-based reliability for 


Wording effect psychometric interpretation, and showed a moderate relation with negative affect, above and beyond the core 
Reliability self-evaluations' main construct. Moreover, ignoring the wording factor produced biased correlations between 
Validity CSE and negative affect. These results suggest that the negative wording factor of the CSES may represent 
CSES more than a response artifact, i.e., substantive multi-dimensionality that should be investigated in-depth. 


Method factor O 2016 Elsevier Ltd. All rights reserved. 
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Sistematik Random 


Gambar ini menunjukkan bahwa sebuah konstruk diukur oleh 4 indikator. Berdasarkan varians nya, skor dapat 
didekomposisi menjadi dua bagian, yaitu bagian common variance dan unique variance. Common variance terkait dengan 
konstruk yang diukur sedangkan yang unique terkait dengan eror pengukuran (varians acak yang tidak terjelaskan oleh 
model). 
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Sistematik Random 


Gambar ini menunjukkan bahwa sebuah konstruk diukur oleh 4 indikator. Dua indikator memiliki kesamaan dalam hal arah 
butir (unfavorable) yang tidak terkait dengan konstruk ukur sehingga masuk ke dalam unique variance, oleh karena tidak 
bersifat random maka dinamakan dengan specific variance 
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Korelasi Antar Eror 






Lingk. 
Belajar 


Korelasi antar eror menunjukkan bahwa ada varians unik yang tidak bersifat acak 
sehingga mereka memiliki hubungan yang tidak berdasarkan konstruk utama yang diukur 





M ethod Effect 





Time Effect 








Trait Effect 


Lanjut ke pembuktian 
validitas berdasarkan isi 
tes... 


Semua aspek di dalamkonten tes harus 
mendukung bahwa SKCR TES YANGLIHASILKAN 
SESUA DENGAN TU UANUKUR 


Informasi apa saja yang perlu 
disiapkan untuk direviu? 


Elemen Tes 


Stimulus & : 
Respons Penyajian Penyeoran 





Tahap-tahap Validasi Melalu Bukti Logis 


1 Hubungi Validator (Contoh kontak via WA, Email, atau apa saja) 


Assalamualaikum.. Pak Wahyu perkenalkan saya Andre, mahasiswa semester 
akhir. Saya Ingin mengundang bapak sebagai validator konten skala yang saya 
kembangkan untuk penelitian skripsi saya. J Ika bapak berkenan saya akan 
mengirimkan dokumen- dokumen tersebut. 


2. Deskripsi Tugas dan Dokumen 


Di dalam amplop ini terisi buah dokumen, yaitu penjelasan teori, blue print tes, 
spesifikasi tes dan butir- butir yang akan diujicobakan. Mohon Bapak/Ibu 
memberikan evaluasi dan penilaian mengenai validitas konten skala yang saya 
kembangkan 


M enurut Bandura, Efikasi diri 
adalah.... dari berbagai telaah 
literatur, efikasi diri dapat 
ditunjukkan melalaui berbagai 
aspek antara lain .... 


. Keyakinan adalah ... 

. Kapasitas pribadi adalah .. 
. Kepercayaan diri ... 

. Upaya nyata ... 


Aspek dan Bobot 

1. Keyakinan (30%) 

2. Kapasitas pribadi (20%) 
3, Kepercayaan diri (10%) 
4. Upaya nyata (40%) 


Contoh Butir aspek Keyakinan 

1. Saya yakin jika saya dapat 
mengatasi tantangan .. 

2. Saya memiliki kemantapan hati 
ketika akan ... 





Contoh Hasil Reviu Secara Logis 


Secara umum skala yang saya reviu sudah memenuhi krit eria. 
Landasan teori yang dipakai sudah diterjemahkan menjadi 
aspek-aspek dan indikator keperilakuan. Namun ada aspek 
yang kurang relevan jika diterapkan pada budaya di | ndonesia 
yaitu... Butir-butir pernyataan sudah dit ulis sesuai dengan 


Indikator yang diacu akan t et api kalimatnya terlalu pe 
yaitu... 


ttd 


(Pereviu) 





Contoh Hasil Reviu terhadap Blue Print 


Blue Print Skala Motivasi Berhenti Begadang 


Motivasi Biologis M] 
Motivasi Psikologis 
VALID 
Motivasi Sosia 





Blue Print Skala Pengendalian Emosi 


A 
TOAND 





Contoh Hasil Reviu terhadap Blue Print 


Blue Print Skala Minat Membeli Produk 


[v1 


Blue Print Skala Minat Membeli Produk 


Fas Doa 
Tingkat Inflasi TDK VALID 
Suku Bunga 








Jangkauan 
ukur sudah 
sesuai 


Jangkauan 
ukur terlalu 
luas 


Contoh Revu Secara Eypirik 


Nama Pereviu: adonan 


Skor(1- 5) 


Butir Skala Lingkungan Fisik untuk Belajar Relevansi | Penulisan 
Konten Pernyataan 


Ruang kelas saya memiliki jarak fisik yang optimal 
Kursi duduk di ruangan kelas terasa nyaman 


Saya dapat mendengarkan perkataan guru dengan jelas di kelas 


1 
2 
j 


Spa 
ERA 
Spa 
08 1 3 


Terkadang suara kegaduhan dari luar kelas mengganggu saya belajar 





BUKTI VALID TAS BERDASARKANISI TES 


Bagaimana Menuliskan 
Prosedurnya di Desain Penelitian? 


Contoh Penjelasan 


1. Pembuktian validitas pada alat ukur yang 
dikembangkan melalui penelitian ini dilakukan 
dengan menggunakan bukti berdasarkan isi tes 
(evidence based on test content)... 


2. Penelitian ini menggunakan dua prosedur validasi 
yaitu validasi terhadap konten dan validasi 
terhadap struktur tes... 


Contoh Penjelasan 


Pembuktian dilakukan melalui proses telaah secara 
rasional dan logis terhadap beberapa aspek tes, yaitu 
spesifikasi tes, blue print tes, serta butir- butir di 
dalam tes. Kriteria yang dipakai untuk menelaah 
adalah relevansi dengan teori dan atribut ukur, 
representasi dengan landasan teori dan kesesuaian 
dengan budaya di Indonesia dan beberapa kriteria lain 
(lihat Lampiran 2). 


Contoh Penjelasan 


Proses validasi dilakukan oleh pakar dalam bidang 
pendidikan. Pada penelitian ini validasi dilakukan 
oleh pembimbing penelitian ini karena memiliki 
latar belakang pendidikan dan pengalaman praktis 
yang mendukung sehingga kontribusinya dalam 
memberikan penilaian terhadap alat ukur ini akan 


dibutuhkan ... 


Contoh di JURNAL 


* A panel of content experts is then asked to review 
the potential scale items and validate that they are 
appropriate indicators of the construct (Schultz & 
Whitney, 2005). The early stages of instrument 
development should include the largest pool of 
potential items possible, which can be reduced, based 


on content reviews (Netemeyer et al., 2003). 


Contoh Penjelasan 


-= Content validity was examined by a panel of experts 
comprising three university professors of educational 
psychology. Although there is an in- depth discussion 
with regard to further research, and assumptions 
that the respondents were typical students that 


participate in online distance education 


Contoh di JURNAL 


-= The content validity check of the entire piloted item set 
indicated adequate coverage across the number concepts, 
operations, and patterns, functions, and algebra NCTM 
standards. A total of 136 competency items were 
determined by the trained experts; those 136 items were 
sent to the nine experts and the content validity of each 


item was calculated. 


BUKTI VALID TAS BERDASARKANISI TES 


Bagaimana Melaporkannya? 
(CONTOH) 


Next, the content validity of the items is evaluated; that is 
the extent to which all facets of the focal variable(s) have 
been comprehensively addressed by the collective items and 
without redundancy (Cook, 2009). Often, at this stage, the 


items are reviewed by a panel of experts, such as those 





consulted by Sendjaya, Sarros, and Santora (2008) when 





developing their scales measuring servant leadership. Here, 
15 domain experts drawn from academia and business rated 
each item for relevance, with content validity established 


when 50% of the experts agreed the item was essential. 


the ldem world, but it is rarely used by most of Asian academicians. The 
jestionnaire is translated into Chinese bv one of the authors and 1s then reviewed bv : 
transportation psychologist in Taiwan. Thus, the content validity of the questionnaire is 


supported. 





Validity: After a thorough scrutiny of each item the content validity of the total 30 items were 
assessed by four expert teachers of the Department of Psychology, University of Dhaka. One 
written form of items was delivered to each judge individually along with two choices — 


appropriate, inappropriate. The judges were also requested to give their comments and 


recommendations. All of them give their valuable opinions about the overall layout of the scales. 


Then the final translated questionnaire was prepared for administer. 





Patient-centred medicine 
Research 


D Validity and reliability of a medical record review method identifying 
de | transitional patient safety incidents in merged primary and secondary 
care patients records 8 


Marije A van Melle" 2 Dorien L M Zwart!, Judith M Poldervaart!, Otto Jan Verkerk?, Maaike Langelaan?, Henk F van Stel!, | 


We had frequent informal meetings with each of 





our reviewers during the review process and asked 
; to "m € 7 7 
M specifically for obscurities in the review method. 
These comments were collected in an excel sheet. 


During the final group discussion notes were taken. 


Contoh Penulisan Laporan (1) 


Berdasarkan penilaian para ahli yang diundang untuk mereviu 
semua informasi dan perangkat di dalam alat ukur (landasan 
teori, kisi- kisi, penulisan butir dan proses administrasi hingga 
penyekoran) didapatkan kesimpulan bahwa validitas terkait 
dengan isi tes yang dikembangkan sudah memenuhi. Peneliti 
menindaklanjuti beberapa masukan dari pada ahli tersebut, yaitu 
memperjelas definisi setiap aspek agar terlihat keunikannya, serta 
mengurangi jumlah butir yang nantinya akan dirakit pada skala 
versi akhir. 


Contoh Penulisan Laporan (2) 


= Pembimbing penelitian telah memberikan evaluasi tes yang 
dikembangkan secara menyeluruh dan memberikan 
persetujuannya mengenai kerangka teoritik yang dipakai dalam 
alat ukur serta penjabarannya menjadi indikator- indikator 
operasional. Pembimbing juga memberikan reviu mengenai 
format butir dan telah ditindaklanjuti oleh peneliti. Keterbacaan 
butir- butir juga telah dikonsultasikan dengan 8 orang mahasiswa 
S2 dan S1 tingkat akhir di Fakultas Psikologi UGM. Hasilnya 
adalah beberapa butir perlu diubah redaksinya karena tidak 
dapat dipahami dengan jelas artinya. 


KESIMPULAN 


= Validitas tidak hanya berkaitan dengan tes akan tetapi proses 
pengembangannya dan aspek-aspek di dalam sebuah tes 


« Validitas tidak melulu harus empirik (ada angkanya) 


= Validitas konten dapat berupa proses dialogis antara pakar yang 
diundang dan peneliti 


= Validitas mengutamakan pada pembuktian, semakin banyak bukti 
yang dikumpulkan validitas semakin tinggi 


